Scalable Weak-to-Strong Verifier Hardening for Agent Environments
面向智能体环境的可扩展弱到强验证器加固
🧭 Agent 环境验证器加固与奖励安全
Stanford University · Carnegie Mellon University · Fewshot Corp · Independent Researcher
隔离验证器沙箱加 hacker-fixer 迭代循环，全自动大幅降低攻击成功率
📌 工作参考价值（4 点）
- 在电商搜索/推荐的 Agent 评估中，若使用程序化规则或 LLM-as-a-judge 给出奖励，可借鉴 hacker-fixer 循环做上线前攻击审计：用弱模型主动找评估器漏洞，迭代修复后再部署，减少 reward hacking 导致的不准确评测与训练偏误。
- 多智能体系统里，将 verifier/裁判模块与执行 agent 的状态空间隔离，防止 agent 直接改写奖励信号或评测结果，确保 RL 或 online 策略的奖励信号干净。
- 弱到强范式有实用价值：即使当前攻击模型能力较弱，也能产生对更强未来模型的防御增益，适合预算有限时提前加固线上奖励函数或评估器。
- 加固效果随迭代次数提升，建议设置自动化流水线并预留 hardening budget，周期性重跑而非静态一次性修复。